在由车辆安装的仪表板摄像机捕获的视频中检测危险交通代理（仪表板）对于促进在复杂环境中的安全导航至关重要。与事故相关的视频只是驾驶视频大数据的一小部分，并且瞬态前的事故流程具有高度动态和复杂性。此外，风险和非危险交通代理的外观可能相似。这些使驾驶视频中的风险对象本地化特别具有挑战性。为此，本文提出了一个注意力引导的多式功能融合网络（AM-NET），以将仪表板视频的危险交通代理本地化。两个封闭式复发单元（GRU）网络使用对象边界框和从连续视频帧中提取的光流功能来捕获时空提示，以区分危险交通代理。加上GRUS的注意力模块学会了与事故相关的交通代理。融合了两个功能流，AM-NET预测了视频中交通代理的风险评分。在支持这项研究的过程中，本文还引入了一个名为“风险对象本地化”（ROL）的基准数据集。该数据集包含带有事故，对象和场景级属性的空间，时间和分类注释。拟议的AM-NET在ROL数据集上实现了85.73％的AUC的有希望的性能。同时，AM-NET在DOTA数据集上优于视频异常检测的当前最新视频异常检测。一项彻底的消融研究进一步揭示了AM-NET通过评估其不同组成部分的贡献的优点。

美国庞大的桥梁网络对其维护和康复提出了很高的要求。手动视觉检查的大量费用在某种程度上是一定程度的负担。高级机器人已被利用以自动化检查数据收集。在大量检查图像数据中，自动化多类元素的分割以及元素的表面缺陷将有助于对桥梁条件进行有效评估。培训单独的单任务网络，用于元素解析（即多类元素的语义分割）和缺陷分段无法在检查图像中合并这两个任务之间的密切连接，其中存在可识别的结构元素和明显的表面缺陷。本文的动机是开发多任务深神经网络，该网络完全利用桥梁元素和缺陷之间的这种相互依赖性来提高模型的性能和概括。此外，研究了提议的网络设计改善任务性能的有效性，包括特征分解，串扰共享和多目标损耗函数。开发了带有桥梁元件和腐蚀的像素级标签的数据集，用于培训和评估模型。评估开发的多任务深神经网络的定量和定性结果表明，推荐的网络不仅超过了独立的单任务网络（在桥梁解析上高2.59％，在腐蚀细分方面高2.59％），而且在计算时间和实施中也是如此能力。

空中机器人（例如无人机）已被利用进行桥梁检查。可以通过板载摄像机收集具有可识别的结构元素和明显表面缺陷的检查图像，以提供有价值的信息以进行条件评估。本文旨在确定用于在检查图像中解析多类桥梁元素的合适的深神经网络（DNN）。一组广泛的定量评估以及定性示例表明，高分辨率净（HRNET）具有所需的能力。通过数据增强和130张图像的训练样本，预先训练的HRNET有效地转移到结构元件解析的任务中，并达到了92.67％的平均F1得分和86.33％的平均值。

音频命令是一种首选的沟通媒介，可将检查员保持在半自治无人机进行的民用基础设施检查环境中。为了了解一组异质和动态检查员的特定工作命令，需要为小组成本开发一个模型，并在组更改时很容易适应。本文的动机是建立一个具有股票分布的架构的多任务深度学习模型。该体系结构允许两个分类任务共享功能提取器，然后通过功能投影和协作培训在提取功能中交织在一起的特定主题和关键字特定功能。一组五个授权主题的基本模型对本研究收集的检查关键字数据集进行了培训和测试。该模型在分类任何授权检查员的关键字时达到了95.3％或更高的平均准确性。它在扬声器分类中的平均准确性为99.2％。由于该模型从合并的培训数据中学习的更丰富的关键字表示，因此将基本模型调整为新检查员只需要该检查员的少量培训数据，例如每个关键字五个话语。在验证授权检查员和76.1 \％的检测中，使用说话者分类分数进行检查员验证可以达到至少93.9％的成功率。此外，本文展示了所提出的模型对公共数据集上的大型组的适用性。本文为解决AI辅助人类机器人互动面临的挑战提供了解决方案，包括工人异质性，工人动态和工作异质性。

使用诸如嵌入惯性测量单元（IMU）传感器的可穿戴设备（如智能手表）的人类活动识别（Har）具有与我们日常生活相关的各种应用，例如锻炼跟踪和健康监控。在本文中，我们使用在不同身体位置佩戴的多个IMU传感器提出了一种基于人类活动识别的新颖性方法。首先，设计传感器设计特征提取模块以提取具有卷积神经网络（CNNS）的各个传感器的最辨别特征。其次，开发了一种基于注意的融合机制，以了解不同车身位置处的传感器的重要性，并产生细节特征表示。最后，应用传感器间特征提取模块来学习与分类器连接的传感器间相关性以输出预测的活动。所提出的方法是使用五个公共数据集进行评估，并且在各种活动类别上优于最先进的方法。

每两年必须在美国超过60,000座桥梁识别可能需要随访维护的缺陷，缺陷或潜在问题。桥梁检查采用无人驾驶飞行器（或无人机），以提高安全性，效率和成本效益。虽然无人机可以以自主模式运行，但是保持循环中的检查器对于桥接检查中的复杂任务至关重要。因此，检查员需要培养在工作中操作无人机的技能和信心。本文介绍了桥梁检验中无人机辅助的视察师的虚拟现实培训和评估系统的设计和开发。该系统由四个集成模块组成：在UNITY中开发的模拟桥检查，允许受训者在模拟中操作无人机，使用遥控器，数据监控和分析为学员提供实时反馈，这是一种界面为协助他们的学习，以及支持个性化培训的后期评估。本文还进行了概念验证的试验研究，以说明该系统的功能。该研究表明，作为早期培训的工具，Tasbid可以客观地详细识别个人的培训需求，并进一步帮助他们开发与桥接检查中的无人机合作的技能和信心。该系统建立了一种建模和分析平台，用于探索民用基础设施的人机合作检查的先进解决方案。

交通事故预期是自动化驾驶系统（广告）提供安全保证的驾驶体验的重要功能。事故预期模型旨在在发生之前及时准确地预测事故。现有的人工智能（AI）意外预期模型缺乏对其决策的人类可意识形态的解释。虽然这些模型表现良好，但它们仍然是广告用户的黑匣子，因此难以获得他们的信任。为此，本文介绍了一个门控复发单位（GRU）网络，用于了解从Dashcam视频数据的交通事故的早期期间的时空关系特征。名为Grad-CAM的后HOC关注机制被集成到网络中，以产生显着图作为事故预期决策的视觉解释。眼跟踪器捕获人眼固定点以产生人类注意图。与人类注意图相比，评估网络生成的显着性图的解释性。在公共崩溃数据集上的定性和定量结果证实，建议的可解释网络可以平均预期事故，然后在发生之前的4.57秒，平均精度为94.02％。此外，评估各种基于HOC的基于后关注的XAI方法。它证实了本研究选择的渐变凸轮可以产生高质量的人类可解释的显着性图（具有1.23标准化的扫描路径显着性），以解释碰撞预期决定。重要的是，结果证实，拟议的AI模型，具有人类灵感设计，可以在事故期内超越人类。

传感器技术和人工智能的快速进步正在为交通安全增强创造新的机遇。仪表板相机（Dashcams）已广泛部署在人类驾驶车辆和自动驾驶车辆上。可以准确和迅速地预测来自Dashcam视频的事故的计算智能模型将增强事故预防的准备。交通代理的空间时间相互作用复杂。预测未来事故的视觉提示深深嵌入了Dashcam视频数据中。因此，交通事故的早期期待仍然是一个挑战。受到人类在视觉感知事故风险中的注意力行为的启发，提出了一种动态的空间 - 时间关注（DSTA）网络，用于从Dashcam视频的早期事故预期。 DSTA网络学习用动态时间关注（DTA）模块来选择视频序列的判别时间片段。它还学会专注于带有动态空间注意（DSA）模块的帧的信息空间区域。门控复发单元（GRU）与注意模块共同培训，以预测未来事故的可能性。在两个基准数据集上对DSTA网络的评估确认它已超过最先进的性能。一种彻底的消融研究，评估组件级别的DSTA网络揭示了网络如何实现这种性能。此外，本文提出了一种从两个互补模型中融合预测分数的方法，并验证其有效性进一步提高早期事故预期的性能。

Artificial Intelligence (AI) has become commonplace to solve routine everyday tasks. Because of the exponential growth in medical imaging data volume and complexity, the workload on radiologists is steadily increasing. We project that the gap between the number of imaging exams and the number of expert radiologist readers required to cover this increase will continue to expand, consequently introducing a demand for AI-based tools that improve the efficiency with which radiologists can comfortably interpret these exams. AI has been shown to improve efficiency in medical-image generation, processing, and interpretation, and a variety of such AI models have been developed across research labs worldwide. However, very few of these, if any, find their way into routine clinical use, a discrepancy that reflects the divide between AI research and successful AI translation. To address the barrier to clinical deployment, we have formed MONAI Consortium, an open-source community which is building standards for AI deployment in healthcare institutions, and developing tools and infrastructure to facilitate their implementation. This report represents several years of weekly discussions and hands-on problem solving experience by groups of industry experts and clinicians in the MONAI Consortium. We identify barriers between AI-model development in research labs and subsequent clinical deployment and propose solutions. Our report provides guidance on processes which take an imaging AI model from development to clinical implementation in a healthcare institution. We discuss various AI integration points in a clinical Radiology workflow. We also present a taxonomy of Radiology AI use-cases. Through this report, we intend to educate the stakeholders in healthcare and AI (AI researchers, radiologists, imaging informaticists, and regulators) about cross-disciplinary challenges and possible solutions.

Smart City applications, such as traffic monitoring and disaster response, often use swarms of intelligent and cooperative drones to efficiently collect sensor data over different areas of interest and time spans. However, when the required sensing becomes spatio-temporally large and varying, a collective arrangement of sensing tasks to a large number of battery-restricted and distributed drones is challenging. To address this problem, we introduce a scalable and energy-aware model for planning and coordination of spatio-temporal sensing. The coordination model is built upon a decentralized multi-agent collective learning algorithm (EPOS) to ensure scalability, resilience, and flexibility that existing approaches lack of. Experimental results illustrate the outstanding performance of the proposed method compared to state-of-the-art methods. Analytical results contribute a deeper understanding of how coordinated mobility of drones influences sensing performance. This novel coordination solution is applied to traffic monitoring using real-world data to demonstrate a $46.45\%$ more accurate and $2.88\%$ more efficient detection of vehicles as the number of drones become a scarce resource.